ไดแอน อาร์บัส เดิมชื่อ ไดแอน เนอเมอรอฟ เป็นบุตรสาวของ นายดาวิด และ นางเกอธรูท รัสเสค เนอเมอรอฟ ครอบครัวเนอเมรอฟเป็นชาวยิวที่อาศัยอยู่ในเมืองนิวยอร์ก ครอบครัวของเธอเป็นเจ้าของธุรกิจห้างสรรพสินค้ารัสเสค บนถนนฟิฟท์อเวนิว แสดงให้เห็นว่าเดิมครอบครัวมีฐานะที่ร่ำรวย แต่เนื่องจากความมั่งคั่งของตระกูล ครั้งเมื่อถึงเหตุการณ์ภาวะเศรษฐกิจตกต่ำครั้งใหญ่ ในช่วงปี ค.ศ. 1930 ซึ่งขณะนั้นไดแอนยังมีอายุได้เพียง 7 ขวบ บิดาของไดแอนจึงต้องผันตัวมาเป็นจิตรกรและกิจการห้างสรรพสินค้ารัสเสคก็ต้องปิดตัวลง น้องสาวของเธอเป็นประติมากรและนักออกแบบ ส่วนพี่ชายคนโตของเธอโฮเวิร์ด เนอเมอรอฟเป็นกวีคนสำคัญของสหรัฐอเมริกาและยังเป็นบิดาของนักประวัติศาสตร์ศิลปะอเมริกันชื่อดัง อย่าง อเล็กซานเดอร์ เนอเมอรอฟ

ไดแอนเข้าเรียนระดับสามัญในโรงเรียนฟิล์ดสตัน (Fieldston School for Ethical Culture) และในปี ค.ศ. 1941 ขณะที่มีอายุได้ 18 ปี ไดแอนก็ได้แต่งงานกับ อลัน อาร์บัส (Allan Arbus) และในปี ค.ศ.1945 พวกเขาก็มีลูกสาวคนแรกด้วยกันชื่อว่า 'ดูน' ชึ่งต่อมาได้เป็นนักเขียน ต่อมาในปี ค.ศ. 1954 พวกเขาก็ให้กำเนิดลูกสาวคนรองชื่อว่า 'เอมี่' ซึ่งต่อมาได้ประกอบอาชีพเป็นช่างภาพ ในปี ค.ศ. 1958 ไดแอนและอลันก็แยกทางกัน และหย่ากันในปี ค.ศ. 1969